iT邦幫忙

2026 iThome 鐵人賽

DAY 14
0
Build on Google AI

AI 策展人:用 Google ADK 打造會思考、會介紹的 3D 展示平台系列 第 25 篇

Day 25|怎麼知道 AI 團隊沒有偷改作業流程?(用「作業流程單」驗收)

  • 分享至 

  • xImage
  •  

前面幾天,我們請了一整隊 AI:收件員、動工員、品管員、拍照員、整修師傅、翻譯、策展人。每次改一點東西,我都想問同一個問題:

這個團隊今天做事的方式,跟昨天一樣嗎?

人工一個一個看,看不完。今天要講的是:怎麼讓機器拿著一張「作業流程單」,替我核對。

驗收員與作業流程單

工廠有個老做法:每一條生產線都有一張標準作業流程單——先做 A、再做 B、B 要用這個規格、最後才出貨。驗收員不需要懂產品好不好看,他只做一件事:把今天的打卡紀錄,拿去跟流程單逐行對。

我們專案裡的「驗收員」是 ADK 內建的 adk eval,「流程單」是一個叫 evalset 的檔案。裡面有 5 道題,每題寫著:

  • 老闆交代的一句話(例如「請把這台減速機做成展場播放包」)。
  • 應該依序做哪幾件事(先看圖檔、再設參數、轉檔、瘦身、打包、品管……最多 20 步)。
  • 最後應該怎麼回報。

五題分別是:完整跑一趟、做壞的貨會自己修、零件改中文名、挑重點寫解說、還有「看照片的人只能扣分」這條鐵律。

我實跑了一次

沒有 AI 門票,團隊照劇本走,驗收員逐題核對:5 題全過,約 34 秒。

驗收員會不會放水?我故意動了手腳

只看到全綠不算數。我複製一份流程單,故意改壞三題,看驗收員抓不抓得到:

  • 第一題:流程單少寫一步(爆炸圖那步)。→ 不合格。
  • 第二題:流程單把「瘦身目標」改了個數字。→ 不合格。
  • 第三題:把兩步的順序對調。→ 不合格。

另外兩題沒動,照樣合格。所以這個驗收員很嚴:少一步、順序不對、連數字不同都會被抓。

但有一個誠實的提醒

這 5 張流程單,是我們拿「劇本版團隊」的打卡紀錄抄下來的。所以現在的全綠,證明的是「劇本沒被改壞」,不是「真的 AI 做事也一樣」。真 AI 上場後,它很可能走出不一樣的路,到時候流程單要重新對一次。這件事還沒做,因為我們還沒有足夠的 AI 額度。

還有一個坑:我以為在離線,其實不是

驗收員有兩種門檻:只對流程(不需要 AI),和「流程+最後回報的文字」(需要 AI)。

我曾經踩到:你的口袋裡放了 AI 門票(金鑰檔),驗收員會自己翻出來用,於是「離線驗收」悄悄變成「花真錢的驗收」,還把當天的免費額度用掉。現在的指令在執行前先把門票收走,已經修好了。

至於文字那半:沒有 AI 時,我用劇本版的回報硬去對「理想中文回報」,5 題裡 2 題過、3 題不過。這不代表管線壞了,而是比對文字本來就要等真 AI 開口,才有意義。

今天帶走什麼

  • 改 AI 團隊的東西,要有一張流程單替你守住「做事順序」。
  • 全綠要問:這張單子是抄誰的?
  • 離線驗收要確認真的離線。

上一篇
Day 24|八組「同名不同人」的東西
下一篇
Day 26(bridge)|真模型第一次上場:503、429,和一個被模型照填的預設值
系列文
AI 策展人:用 Google ADK 打造會思考、會介紹的 3D 展示平台 共 29 篇
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言